画像のε近傍に基づくカラーCCDノイズ低減
Noise Reduction for Color CCD Image Sensors Based on ε-neighborhood of Images 原 崇之
*関 海克
**Takayuki HARA Haike GUAN
要 旨
デジタルカメラやイメージスキャナで使用されるCCDカラーイメージセンサで撮影された画像 に現れる色ノイズを低減する手法を提案する．従来，画像の解像感を保持したまま色ノイズを高 速に低減することは困難であった．本提案手法では，注目画素の空間近傍で色の乖離度が特定閾 値以内の画素の集合をε近傍と定義し，ε近傍の画像とノイズの特性を利用してノイズ低減処理を 行う．まず，ε近傍における画素値の平均・分散を算出する．次に，CCDの特性を利用してε近傍 の画素値の平均からノイズの分散を推定する．そして，画素値とノイズの分散比に応じてε近傍 の平均色方向に注目画素の出力値を生成することでノイズ低減を行う．実験により，提案手法は 従来手法に対して色ノイズの低減性，解像の保持性，処理の高速性の観点から優位であることを 示す．
Abstract
A novel noise reduction algorithm is proposed for color image sensors such as CCDs, which are used in digital cameras and image scanners. It has been difficult to reduce color noise at high speed without losing image details. To solve this problem, the proposed method reduces noise using the properties of images and noise in the ε-neighborhood; this is defined as a set of pixels that are in a spatial neighborhood and have less color divergence for a focused pixel. First, the mean and the variance of pixel values in the ε-neighborhood are calculated. Next, the variance of noise is estimated from the mean of the ε-neighborhood using the properties of CCDs. Finally, the output value is generated along the mean color vector direction in RGB space, depending on the variance ratio between the image and noise in the ε-neighborhood. Experiments indicate that the proposed method delivers better performance than conventional methods in terms of low color noise, preserving image details with high speed processing.
* 研究開発本部 基盤技術研究センター
Core Technology R&D Center, Research and Development Group
** グループ技術開発本部 デバイスモジュール技術開発センター
Device and Module Technology Development Center, Corporate Technology Development Group
1．背景と目的
イメージスキャナやデジタルカメラ等の撮像機器に より撮影した画像には，CCDやCMOSといった撮像素 子及び回路の特性上，ショットノイズ，暗電流ノイズ などのノイズが含まれる．これらの撮像機器から高画 質の画像を得るためには，ノイズを低減する処理
（Noise Reduction，以下NRと略記）を施さなければな らない．単純に線形のローパスフィルタを用いてNRを 行うと，エッジやテクスチャといった人間が画像を知 覚する上で重要な要素がノイズと共に失われて画質が 劣化する．したがって，画像の特性に応じて適応的に NRを行うことが必要となる．
このような要請から，従来，種々のNR手法が提案さ れている．処理対象画素の近傍の画素値情報を元に フィルタリングを行う手法として，メディアンフィル タ1)，バイラテラルフィルタ2)がある．これらの手法は 画像のエッジを保存しノイズを低減することができる が ， 画 像 の 微 細 な テ ク ス チ ャ が 失 わ れ や す い ． Anisotropic diffusion3) 4) 5)と呼ばれる手法では，画素値 を拡散物質の密度と見立てた拡散方程式を反復して計 算することにより，画素値のバラツキ（ノイズ）を低 減する．この手法は，繰り返し計算を要するため計算 コストが高く，また過剰な平滑化やエッジ強調が発生 しやすい．ウェーブレット変換をNRに応用する試みも 行われている．自然画像のサブバンドのウェーブレッ ト係数が尖度の高い分布であることを利用し，大きい 係数値を保存し，小さい係数値を弱めるコアリングと 呼ばれる手法の有効性が確認されている6)．また，サ ブ バ ン ド の ウ ェ ー ブ レ ッ ト 係 数 の 尖 度 の 高 さ を Gaussian Scale Mixturesによりモデル化することで，
NRを行う方式が提案されている7) 8)．これらのウェー
ブレット変換を用いた方法では，主に変換に係る計算 コストの高さや，人工パターンの発生が問題となる．
他にも，マルコフ確率場9)，Fields of Experts10)，領域 分割ベースのガウシアンモデル11)，を画像の確率モデ ルとして用い，NRを行う手法がある．これらは，画像 の特性に応じた処理結果を得られるものの，一般に計 算コストが高い．
以上述べた従来技術は，ノイズ低減量，解像保持性
（エッジやテクスチャの保存性），処理の高速性の観 点から一長一短である．イメージスキャナやデジタル カメラといった機器上でNRをリアルタイムに実行する ことを考えると，従来の技術で高S/N，高解像保持を達 成することは極めて困難である．
以上の背景のもと本研究では，CCD等の撮像素子で 撮影されたカラー画像を対象としたNRにおいて，高 S/N，高解像保持を少ない計算コストで実現することを 目的とする．
2．CCD撮影画像に現れるノイズ
本章では，CCDで撮影した画像に現れるノイズを計 測し，その特性を示す．
2-1 測定方法
RICOH GR DIGITAL IIによりISO1600の感度で撮影し，
CCDの出力信号をAD変換したRAW画像を取得する．
そのRAW画像の平坦部から64×64［pixel］の部分画像を 切り出す．この平坦部の部分画像内の画素値変動をノ イズとみなす．撮影シーンは4シーンで，部分画像の数 は計66個である．画素値は閉区間［0, 1］に正規化してい る．
2-2 測定結果
測定した66個の部分画像におけるノイズのRGB成分 間の分散・共分散をFig.1に示す．図より，RGB成分間 の共分散は分散と比較して極めて小さいことが分かる．
次に，部分画像の画素値の平均に対するノイズの分散
をFig.2に示す．ノイズの分散は平均値に対して線形に
増加する傾向があり，その傾向は色成分に非依存であ
る．Fig.2の実線は画素値平均xに対してノイズの分散
を次の関数φ(x)で近似したものである．
4
3 2.82 10
10 40 . 3 )
(x = × −x+ × −
φ (1)
䎵 䎪 䎥 䎵
䎪 䎥 䎓
䎓䎑䎘 䎔
䏛䎃䎔䎓䎐䎖
䎹䏄䏕䏌䏄䏑䏆䏈䎃䎒䎃䎦䏒䏙䏄䏕䏌䏄䏑䏆䏈
Fig.1 Variance-covariance of noise.
䎓 䎓䎑䎕䎘 䎓䎑䎘 䎓䎑䎚䎘 䎔
䎓 䎔 䎕 䎖 䎗䏛䎃䎔䎓䎐䎖
䎰䏈䏄䏑
䎹䏄䏕䏌䏄䏑䏆䏈
䎵 䎪 䎥 䕎䎋䏛䎌
Fig.2 Mean of signal versus variance of noise in partial regions.
3．ノイズ低減手法
本章では提案するNR手法について述べる．提案手法 では，注目画素の空間近傍でRGB値の類似する画素の 集合をε近傍と定義し，このε近傍における画像とノ イズの特性をNRに利用する．まず，ε近傍における画 素値の平均と分散を算出する．次にε近傍の画素値の平 均値からノイズの分散を推定する．そして，ε近傍の画 素値とノイズの分散比に応じて，ε近傍内の平均色方向 に注目画素の出力値を生成することでノイズ低減を行 う．
3-1 ε近傍
処理の基本単位となるε近傍について説明する．ま ず，画像を構成する各画素が任意の方法でユニークに ラベル付けされているとする．ラベルiが付けられた 画素を画素iと呼ぶ．画素iに対するε近傍Ε(i)を次の ように定義する．
} ) , ( ) (
| { )
( ≡ ∈Ω ∧ <ε
Ε i j j i K gi gj (2)
ここで，Ω(i)は画素iの空間近傍，giは処理対象画 像の画素iの画素値(RGBの3次元ベクトル)，K(gi,gj) は画素値giと画素値gjの乖離度，εは乖離度の判定閾 値を示す．つまり，画素iの空間近傍の画素で，乖離 度が特定閾値εより小さい画素の集合がε近傍Ε(i)であ る．具体的には，Ω(i)は画素iを中心としたm×mの矩 形領域，乖離度Kは，処理対象画素値giに3×3の平均 フィルタを適用した画素値giを用いて次式で定義する．
⎪⎪
⎪
⎩
⎪⎪
⎪
⎨
⎧
−
=
−
=
=
− +
− +
−
=
C C
C C
G
B i G i i
G i R i i
G i i
q
g g
Cb
g g
Cr g G
Cb Cb Cr Cr G G K
γ γ
γ γ
λ γ
) ( ) ( '
) ( ) ( '
) ( '
| ' '
|
| ' '
|
| ' '
| ) ,
(gp g p q p q p q
(3)
ここで，λ，γG，γCは設計パラメータである．
3-2 処理フロー
処理対象画像から画素iの出力値（NR後の画素値）
fˆiを得るまでの処理は以下の3つのステップにより構 成される．
Step1：ε近傍の平均・分散の算出 Step2：ノイズの分散の推定 Step3：平均色方向への出力値作成
この3ステップを処理対象画像中のすべての画素に対 して実行する．以下，各ステップの詳細を説明する．
Step1：ε近傍の平均・分散の算出
提案手法の第1ステップでは，ε近傍Ε(i)の画素値平 均 iB T
G i R i
i =(μ μ μ )
μ と，RGB間の分散共分散行列 Σiを算出する．
Step2:ノイズの分散の推定
第2章で示したように，ノイズはRGB間の共分散が分 散と比較して極めて小さく，分散が周辺画素値の平均 値に依存する．この性質を元に，ε近傍Ε(i)の画素値平 均μiから，ノイズ分散推定関数φ(⋅)を用いてノイズの 分散共分散行列Θiを次式で推定する．
⎟⎟
⎟⎟
⎠
⎞
⎜⎜
⎜⎜
⎝
⎛
=
) ( 0 0
0 ) ( 0
0 0 ) (
B i G i R i i
μ φ μ φ μ φ
Θ (4)
(⋅)
φ は撮像機器に合わせて事前に同定しておく必要 がある．本稿では式(1)の関数を用いる．
Step3:平均色方向への出力値作成
ε近傍Ε(i)の平均値μi方向におけるノイズの処理対 象画素値に対する分散比ηiを次式で算出する．
i i T i
i i T i
i μ Σμ
μ Θ
= μ
η (5)
この値を用いて，重み係数wiをパラメータa ( > 0), b の下で次のように算出する．
b a
wi = ηi+ (6)
wiが0より小さくなる場合は0に，1より大きくなる 場合は1に値を固定する．そしてこの重み係数を用いて 画素iに対する出力値 fˆiを算出する．
i i i i
T i i i
i w g wμ
μ μ
f = − μ 2 +
| )| 1
ˆ ( (7)
式(7)の処理をRGB空間で幾何学的に示すとFig.3のよ うになる．処理対象画素値giを平均色方向に射影した 点と平均値μiを重み係数wiで内分した点が出力値 fˆi となる．この処理には次の2つの効果がある．まず，平 均色方向に画素値を射影することで，出力値がε近傍 の平均値の色相に合わされ，色ノイズが低減される．
また，画像の平坦領域では，ノイズと処理対象画素値 の分散比が大きいため重み係数が大きくなり，出力値
fˆiはε近傍平均μiに近づく．つまり，平坦領域ではよ り多くのノイズが低減されることになる．テクスチャ の多い領域では逆の作用がはたらき，ノイズの処理対 象画素値に対する分散比が小さいため重み係数が小さ くなり，出力値 fˆiがgiを平均色方向に射影した点に近 づく．これによりテクスチャ領域では処理対象画像の 元の信号がより多く保存される．
O
ε近傍平均
処理対象画素値
出力値
R
G B
μi
fˆi
gi
wi
wi
− 1
Fig.3 Illustration of the noise reduction algorithm in RGB space.
4．性能検証
本章では提案したNR手法と，従来技術であるバイラ テラルフィルタ2)，Bayes Least Squares - Gaussian Scale Mixtures (BLS-GSM)法7)と提案手法との性能比較 を行う．
4-1 NRの設定
4-1-1 提案手法
処理対象画像はベイヤー配列のRAW画像であるため，
線形補間して1画素ごとにRGB信号を生成する．ε近傍 の空間近傍のサイズはm=65とする．ε近傍の分散共分 散行列Σiは処理の高速化のため対角成分のみ計算を行 う．
4-1-2 バイラテラルフィルタ
処理対象画像をYCrCb成分に分解し，バイラテラル フィルタを適用する．画素iと画素jの間のフィルタ係 数τijは，画素 i-j間の位置のユークリッド距離d(i,j)， 画素 i-j間の信号差分r(i,j)（ここでは式(3)の乖離度 を用いる），パラメータσd，σrを用いて次式で定義 する．
⎪⎭
⎪⎬
⎫
⎪⎩
⎪⎨
⎧
⎟⎟⎠
⎞
⎜⎜⎝
⎛ +
−
∝ 2(,2 ) 2(,2 ) 2
exp 1
r d
ij
j i r j i d
σ
τ σ (8)
Y成分に対してはσd =1.0×102，σr =9.8×10−2として，
ウィンドウサイズを7×7［pixel］としてフィルタを適用 する．CrCb成分に対しては，色ノイズを効果的に低減 するため，Y成分の6倍の大きさのフィルタを適用する．
4-1-3 BLS-GSM
公開されているコード12)を用いてYCrCb成分ごとに NRを施す．ノイズの標準偏差パラメータσはY成分に 対して12，CrCb成分に対して20とする．
4-2 実験結果と考察
RICOH GR DIGITAL IIにより感度設定ISO1600で撮影 したRAW画像に対するNR結果をFig.4に示す．図中の 最左列が処理対象のRAW画像をRAW現像ソフトでNR
処理対象画像 バイラテラルフィルタ BLS-GSM 提案手法 Fig.4 Comparison of the proposed method with conventional methods.
なしで現像処理した色ノイズを含む画像である．各々 の手法によるNR結果をその右に示す．Fig.4上段の平坦 領域では，提案手法がバイラテラルフィルタ，BLS- GSMに対して，ムラが少なく色ノイズを低減している．
Fig.4中段のテクスチャ領域においては，バイラテラル フィルタではテクスチャが潰れており，BLS-GSMでは 低周波の特徴を保持するものの細部にボケが発生する．
提案手法は低周波の残存性はBLS-GSMに劣るが，微細 なテクスチャを保持している．Fig.4下段の夜景では，
どの手法も明暗のはっきりしたエッジを良好に残して いる．しかし，窓の光，塔の鉄骨などの細部で提案手 法は従来技術よりも解像を高く保持している．以上の 結果から提案手法は，色ノイズ低減と解像保持を高い バランスで実現しているといえる．これは，ε近傍内の 処理によるエッジ保存，平均色方向への射影による色 ノイズ低減，ノイズと処理対象画素値の分散比を用い た適応処理による解像保持，に一定の効果があると考 えられる．
次に，シミュレーションによりPSNR（Peak Signal to Noise Ratio）を算出し，定量評価を行う．低感度で 撮影した画像（Fig.5）において，式(1)の分散を持つ白 色ガウス雑音を付加する．これにNRを施し，PSNRを 算出する．PSNRの算出値をTable 1に示す．表より提 案手法が平均的に従来技術を上回ることが分かる．た だし，画像3のBLS-GSMのみ，提案手法を上回る．画 像3は猫の毛並みなど極微細なテクスチャが多く，提案 手法ではテクスチャを残すことでノイズも多く残留し，
結果的にPSNRが向上しにくいと考えられる．
最後にTable 2に処理時間を示す．処理対象画像のサ
イズは3656×2744［pixel］であり，Intel Core 2 Duo E6600（2.4GHz）でシングルコアにて計算を行った．
提案手法はバイラテラルフィルタに比べて3.7倍，BLS- GSMに比べて177倍高速に計算することができる．提 案手法は，単純な平均・分散算出演算と画素独立の線 形演算で出力値を生成するため，低い計算コストで実 行可能である．
1 2 3 4 Fig.5 Processed images.
Table 1 PSNR［dB］.
画像ＩＤ 処理対象
画像 バイラテラ
ルフィルタ BLS-GSM 提案手法 1 26.15 30.77 31.61 34.46 2 24.73 29.83 30.91 31.70 3 26.14 33.33 33.78 33.66 4 25.46 34.41 36.29 36.58 平均 25.68 31.31 32.10 33.27
Table 2 Processing time［sec］.
手法 処理時間 バイラテラルフィルタ 44.3
BLS-GSM 2123.8 提案手法 12.0
5．結論と今後の展望
本稿では，CCDで撮影されたカラー画像に対するNR 手法を提案した．従来技術では，解像感を保持したま ま色ノイズを高速に低減することが困難であった．そ こで，注目画素の空間近傍で色の乖離度が特定閾値以 下となる画素の集合であるε近傍において，平均色方 向にノイズと画素値の分散比に応じて出力値を作成す る手法を提案した．実験により，提案手法は色ノイズ の低減性，解像の保持性，処理の高速性の観点でバイ ラテラルフィルタ，BLS-GSMに対して優位であること を確認した．今後は，さらなる高速性・解像保持性の 向上，多様な条件で撮影された画像への対応が課題で ある．
参考文献
1) 田村秀行：コンピュータ画像処理，オーム社，
(2002)．
2) C. Tomasi and R. Manduchi: Bilateral Filtering for Gray and Color Images, Proc. Sixth Int'l Conf.
Computer Vision, (1998), pp. 839-846.
3) M.J. Black, G. Sapiro, D.H. Marimont, and D. Heeger:
Robust Anisotropic Diffusion, IEEE Trans. Image Processing, vol. 7, no. 3 (1998), pp. 421-432.
4) D. Tschumperl: Fast Anisotropic Smoothing of Multi- Valued Images Using Curvature-Preserving PDE's, Int'l J. Computer Vision, vol. 68, no. 1 (2006), pp. 65- 82.
5) G. Gilboa: Nonlinear Scale Space with Spatially Varying Stopping Time, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 30, no. 12 (2008), pp.
2175-2187.
6) E.P. Simoncelli and E.H. Adelson: Noise Removal via Bayesian Wavelet Coring, Proc. IEEE Int'l Conf.
Image Processing, vol. I (1996), pp.379-382.
7) J. Portilla, V. Strela, M.J. Wainwright, and E.P.
Simoncelli: Image Denoising Using Scale Mixtures of Gaussians in the Wavelet Domain, IEEE Trans. Image Processing, vol. 12, no. 11 (2003), pp. 1338-1351.
8) S. Lyu and E.P. Simoncelli: Modeling Multiscale Subbands of Photographic Images with Fields of Gaussian Scale Mixtures, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 31, no. 4 (2009), pp. 693-706.
9) S. Geman and D. Geman: Stochastic Relaxation, Gibbs Distributions and the Bayesian Restoration of Images, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 6, no. 6 (1984), pp.721-741.
10) S. Roth and M.J. Black: Fields of Experts: A Framework for Learning Image Priors, Proc. IEEE Conf. Computer Vision and Pattern Recognition, vol.
2 (2005), pp. 860-867.
11) C. Liu, et al.: Automatic Estimation and Removal of Noise from a Single Image, IEEE Trans. Pattern
Analysis and Machine Intelligence, vol. 30, no. 2 (2008), pp. 299-314.
12) BLS-GSM Image Denoising,
http://decsai.ugr.es/~javier/denoise/
